DNN 的致命缺陷

全连接神经网络在处理语言序列时的两大障碍

Input Layer
"我今天吃了一个苹果"
"你好"
"这是一个非常长的句子..."
变长序列
输入
DNN Processing
全连接神经网络
固定输入长度
并行计算
❌ 缺陷一：输入长度受限
"我今天吃了" "一个苹果" → ❌
"你好" + [0,0,0,0,0...]
必须截断或填充到固定长度
❌ 缺陷二：时序信息丢失
我
吃
苹果
↔
苹果
吃
我
DNN视角：顺序无关紧要
无法处理变长输入
|
无法理解词序关系
|
无法读懂语义